In this paper, we propose a novel architecture, the Enhanced Interactive Transformer (EIT), to address the issue of head degradation in self-attention mechanisms. Our approach replaces the traditional multi-head self-attention mechanism with the Enhanced Multi-Head Attention (EMHA) mechanism, which relaxes the one-to-one mapping constraint among queries and keys, allowing each query to attend to multiple keys. Furthermore, we introduce two interaction models, Inner-Subspace Interaction and Cross-Subspace Interaction, to fully utilize the many-to-many mapping capabilities of EMHA. Extensive experiments on a wide range of tasks (e.g. machine translation, abstractive summarization, grammar correction, language modelling and brain disease automatic diagnosis) show its superiority with a very modest increase in model size.
translated by 谷歌翻译
We present a method for introducing a text encoder into pre-trained end-to-end speech translation systems. It enhances the ability of adapting one modality (i.e., source-language speech) to another (i.e., source-language text). Thus, the speech translation model can learn from both unlabeled and labeled data, especially when the source-language text data is abundant. Beyond this, we present a denoising method to build a robust text encoder that can deal with both normal and noisy text data. Our system sets new state-of-the-arts on the MuST-C En-De, En-Fr, and LibriSpeech En-Fr tasks.
translated by 谷歌翻译
Compared to the great progress of large-scale vision transformers (ViTs) in recent years, large-scale models based on convolutional neural networks (CNNs) are still in an early state. This work presents a new large-scale CNN-based foundation model, termed InternImage, which can obtain the gain from increasing parameters and training data like ViTs. Different from the recent CNNs that focus on large dense kernels, InternImage takes deformable convolution as the core operator, so that our model not only has the large effective receptive field required for downstream tasks such as detection and segmentation, but also has the adaptive spatial aggregation conditioned by input and task information. As a result, the proposed InternImage reduces the strict inductive bias of traditional CNNs and makes it possible to learn stronger and more robust patterns with large-scale parameters from massive data like ViTs. The effectiveness of our model is proven on challenging benchmarks including ImageNet, COCO, and ADE20K. It is worth mentioning that InternImage-H achieved the new record 65.4 mAP on COCO test-dev. The code will be released at https://github.com/OpenGVLab/InternImage.
translated by 谷歌翻译
时间序列数据出现在各种应用程序中，例如智能运输和环境监测。时间序列分析的基本问题之一是时间序列预测。尽管最近的深度时间序列预测方法取得了成功，但它们仍需要足够的历史价值观察才能进行准确的预测。换句话说，输出长度（或预测范围）与输入和输出长度之和的比率应足够低（例如，0.3）。随着比率的增加（例如，到0.8），预测准确性的不确定性显着增加。在本文中，我们从理论和经验上都表明，通过将相关时间序列检索作为参考文献可以有效地降低不确定性。在理论分析中，我们首先量化不确定性，并显示其与平方误差（MSE）的连接。然后，我们证明，带有参考的模型比没有参考的模型更容易学习，因为检索到的参考可能会降低不确定性。为了凭经验证明基于检索的时间序列预测模型的有效性，我们引入了一种简单而有效的两阶段方法，称为“保留”，该方法由关系检索和内容合成组成。我们还表明，可以轻松地适应时空时间序列和时间序列插补设置。最后，我们评估了现实世界数据集上的延迟，以证明其有效性。
translated by 谷歌翻译
脑膜瘤等级的术前和非侵入性预测在临床实践中很重要，因为它直接影响临床决策。更重要的是，脑膜瘤中的大脑侵袭（即，在相邻脑组织中存在肿瘤组织）是脑膜瘤分级的独立标准，并影响了治疗策略。尽管据报道已经努力解决这两个任务，但其中大多数依赖于手工制作的功能，并且没有尝试同时利用这两个预测任务。在本文中，我们提出了一种新型的任务意识到的对比学习算法，以共同预测来自多模式MRI的脑膜瘤等级和脑部侵袭。基于基本的多任务学习框架，我们的关键思想是采用对比度学习策略，以将图像功能分解为特定于任务的功能和任务遵守功能，并明确利用其固有的连接以改善两个预测任务的功能表示形式。在这项回顾性研究中，收集了一个MRI数据集，通过病理分析，有800名患者（含有148个高级，62名侵袭）患有脑膜瘤。实验结果表明，所提出的算法的表现优于替代性多任务学习方法，其AUCS分别为0：8870和0：9787，分别用于预测脑膜瘤等级和脑部侵袭。该代码可在https://github.com/isdling/predicttcl上找到。
translated by 谷歌翻译
高分辨率卫星图像可以为土地覆盖分类提供丰富的详细空间信息，这对于研究复杂的建筑环境尤为重要。但是，由于覆盖范围复杂的覆盖模式，昂贵的训练样品收集以及卫星图像的严重分布变化，很少有研究应用高分辨率图像来大规模详细类别的覆盖地图。为了填补这一空白，我们提出了一个大规模的土地盖数据集，即五亿像素。它包含超过50亿个标记的像素，这些像素由150个高分辨率Gaofen-2（4 M）卫星图像，在24类系统中注释，涵盖人工结构，农业和自然阶层。此外，我们提出了一种基于深度学习的无监督域适应方法，该方法可以转移在标记的数据集（称为源域）上训练的分类模型，以获取大型土地覆盖映射的无标记数据（称为目标域） 。具体而言，我们采用动态伪标签分配和班级平衡策略来介绍一个端到端的暹罗网络，以执行自适应领域联合学习。为了验证我们的数据集的普遍性以及在不同的传感器和不同地理区域中提出的方法，我们对中国的五个大城市和其他五个亚洲国家的五个城市进行了土地覆盖地图，以下情况下使用：Planetscope（3 m），Gaofen-1，Gaofen-1 （8 m）和Sentinel-2（10 m）卫星图像。在总研究区域为60,000平方公里，即使输入图像完全未标记，实验也显示出令人鼓舞的结果。拟议的方法接受了5亿像素数据集的培训，可实现在整个中国和其他亚洲国家的高质量和详细的土地覆盖地图。
translated by 谷歌翻译
多模式MR成像通常用于临床实践中，以通过提供丰富的互补信息来诊断和研究脑肿瘤。以前的多模式MRI分割方法通常通过在网络的早期/中阶段连接多模式MRIS来执行模态融合，这几乎无法探索模态之间的非线性依赖性。在这项工作中，我们提出了一种新型的嵌套模态感知变压器（嵌套形式），以明确探索多模式MRIS在脑肿瘤分割中的模式内和模式间关系。我们建立在基于变压器的多模型和单一码头结构的基础上，我们对不同模式的高级表示进行嵌套的多模式融合，并在较低的尺度上应用对模态敏感的门控（MSG），以进行更有效的跳过连接。具体而言，多模式融合是在我们提出的嵌套模态感知特征聚合（NMAFA）模块中进行的，该模块通过三个方向的空间意见变压器增强了单个模态内的长期依赖性，并进一步补充了模态信息之间的关键情境信息。通过跨模式注意变压器。关于BRATS2020基准和私人脑膜瘤细分（Maniseg）数据集的广泛实验表明，嵌套形式显然比最先进的表现优于最先进的。该代码可从https://github.com/920232796/nestedformer获得。
translated by 谷歌翻译
对比度学习是图表学习中的有效无监督方法，对比度学习的关键组成部分在于构建正和负样本。以前的方法通常利用图中节点的接近度作为原理。最近，基于数据增强的对比度学习方法已进步以显示视觉域中的强大力量，一些作品将此方法从图像扩展到图形。但是，与图像上的数据扩展不同，图上的数据扩展远不那么直观，而且很难提供高质量的对比样品，这为改进留出了很大的空间。在这项工作中，通过引入一个对抗性图视图以进行数据增强，我们提出了一种简单但有效的方法，对抗图对比度学习（ARIEL），以在合理的约束中提取信息性的对比样本。我们开发了一种称为稳定训练的信息正则化的新技术，并使用子图抽样以进行可伸缩。我们通过将每个图形实例视为超级节点，从节点级对比度学习到图级。 Ariel始终优于在现实世界数据集上的节点级别和图形级分类任务的当前图对比度学习方法。我们进一步证明，面对对抗性攻击，Ariel更加强大。
translated by 谷歌翻译
在3D点云的一代任务中，点云完成越来越流行，因为从其部分观察结果中恢复了3D对象的完整形状是一个具有挑战性但必不可少的问题。在本文中，我们提出了一种新型的种子形式，以提高点云完成中细节保存和恢复的能力。与以前的基于全局特征向量的方法不同，我们引入了一种新的形状表示形式，即补丁种子，不仅可以从部分输入中捕获一般结构，而且还保留了本地模式的区域信息。然后，通过将种子特征集成到生成过程中，我们可以以粗到精细的方式恢复忠实的细节，以获取完整的点云。此外，我们通过将变压器结构扩展到点发生器的基本操作来设计上样本变压器，该结构有效地结合了相邻点之间的空间和语义关系。定性和定量评估表明，我们的方法在多个基准数据集上优于最先进的完成网络。我们的代码可从https://github.com/hrzhou2/seedformer获得。
translated by 谷歌翻译
在工业4.0中，现代制造和自动化工作场所的剩余寿命（RUL）预测至关重要。显然，这是连续的工具磨损，或更糟糕的是，突然的机器故障会导致各种制造故障，这显然会导致经济损失。借助深度学习方法的可用性，将其用于RUL预测的巨大潜力和前景导致了几种模型，这些模型是由制造机的操作数据驱动的。目前，基于完全监督模型的这些努力严重依赖于其规定标记的数据。但是，只有在机器崩溃发生后才能获得所需的RUL预测数据（即来自错误和/或降解机器的注释和标记的数据）。现代制造和自动化工作场所中破碎的机器在现实情况下的稀缺性增加了获得足够注释和标记数据的困难。相比之下，从健康机器中收集的数据要容易得多。因此，我们指出了这一挑战以及提高有效性和适用性的潜力，因此我们提出（并充分开发）一种基于掩盖自动编码器的概念的方法，该方法将利用未标记的数据进行自学。因此，在这里的工作中，开发和利用了一种值得注意的掩盖自我监督的学习方法。这旨在通过利用未标记的数据来建立一个深度学习模型，以实现RUL预测。在C-MAPSS数据集中实施了验证该开发有效性的实验（这些实验是从NASA Turbofan发动机的数据中收集的）。结果清楚地表明，与使用全面监督模型相比，我们在这里的发展和方法在准确性和有效性上都表现得更好。
translated by 谷歌翻译